Scaling Properties of Text Conditioning in Visual Generation
视觉生成中文本条件的缩放特性
🧭 文本条件缩放 · 结构化提示优化
ByteDance Seed
扩散损失随结构化提示的信息量线性下降，而非标记数，引导出更强的提示器和模型
📌 工作参考价值（4 点）
- 结构化输入比长文本更有效：在生成式推荐（如商品描述、广告文案生成）中，使用结构化数据（属性键值对）替代冗长自然语言描述，可避免性能饱和，并持续提升生成质量。
- 量化输入信息量来指导优化：借鉴 GPG（生成概率增益）和 ED（实体密度）等度量，为推荐场景的 prompt 设计提供可监控指标，寻找信息量-生成质量的最优点，而非盲目增加上下文。
- 三阶段训练提示器：将 SFT + 冷启动 + 验证器门控策略蒸馏的管线迁移至推荐系统，训练专用提示器，自动优化用户意图解析、查询重写或对话式推荐的输入生成。
- 避免“长 prompt 幻觉”：在 Agent 与 LLM 结合的场景，输入 token 数增加不保证效果提升，应通过结构化注入领域知识（如商品图谱、用户行为标签）来提升信息密度，减少冗余推理。